Datenverarbeitung mit Apache Spark in Synapse Analytics von Christopher Münch
Vom 17. bis 20. Oktober fanden die „
SQLdays
2022“ in Erding statt.
Video zum Vortrag von Christopher Münch mit dem Titel "Datenverarbeitung mit Apache Spark in Synapse Analytics" anlässlich der SQLdays 2022.
Apache Spark hat sich insbesondere durch Plattformen wie Databricks zu einem de-facto Standard für das Verarbeiten von Big Data entwickelt. Auch Microsoft hat dies früh erkannt und setzt bei den Data-Flows aus der Data Factory (und in Synapse selbst) auf Apache Spark.
In Synapse Analytics Workspaces gibt es neben den bekannten Dataflows auch die Möglichkeit, Datenverarbeitungsprozesse direkt mit Spark in Form von Notebooks zu entwickeln.
In dieser Session zeige ich, wie mit Spark-Notebooks in Synapse riesige Datenmengen auf einem Data Lake verarbeitet werden können. Zusätzlich werde ich einen kleinen Einblick in die Funktionsweise von Apache Spark geben.
Auf unserem Video-Portal studios.ppedv.de findet man eine breite Basis an Informationen rund um das Thema IT.
Die Schwerpunkte bilden dabei nicht nur Microsoft-Technologien. Themen wie Visual Studio, .net, C++, C#, Angular JS und viele mehr werden von unseren professionellen Trainern detailliert erklärt.